Đêm ngày 4 tháng 9 năm 1945, đoàn trưởng các lực lượng xung phong Công đoàn họp tại trụ sở Tổng Công đoàn Nam Bộ, số 72 đường Lagrandière (La-răng-đi-ê) (nay là đường Lý Tự Trọng), lập bàn thờ Tổ quốc tuyên thệ: "Là chiến sĩ xung phong Công đoàn, xin thề trước bàn thờ Tổ quốc quyết cùng anh em lao động, không nản chí trước khó khăn, không lùi bước trước nguy hiểm để cùng đồng bào bảo vệ Tổ quốc, giữ gìn non sông". Sự kiện này về sau được lấy làm ngày truyền thống của Bộ Tư lệnh Thành phố Hồ Chí Minh.

Tháng 1 năm 1946, Khu trưởng Khu 7 Nguyễn Bình đã tổ chức cuộc họp quyết định hợp nhất tất cả các tổ chức bán quân sự tại Sài Gòn - Chợ Lớn thành một lực lượng lấy tên là Ban công tác Thành. Tổ chức Ban công tác Thành gồm có các Ban trinh sát số 1, Ban vô hình, các Ban công tác số 2, số 3 và số 4, đội cảm tử Nguyễn Bình, nhóm Hùng Vương… chủ yếu làm nhiệm vụ trinh sát, thu thập thông tin tình báo quân sự, phá hoại các cơ sở quân sự của Pháp và khủng bố những người cộng tác với chính quyền Pháp tại vùng Sài Gòn - Chợ Lớn. Tháng 5 năm 1946, Ban công tác Thành đổi tên thành Ban chỉ huy quân sự Sài Gòn – Chợ Lớn trực thuộc Khu 7. Lực lượng quân sự chủ lực phát triển dần lên cấp tiểu đoàn (1947), trung đoàn (1948)... hoạt động nội thành và chiến đấu bảo vệ căn cứ ở vùng ven chống lại quân Pháp cho đến tận năm 1954.[1]

Sau năm 1954, các lực lượng vũ trang Việt Minh tập kết ra Bắc. Ban chỉ huy quân sự Sài Gòn - Chợ Lớn về danh nghĩa cũng bị giải thể. Tháng 2 năm 1961, Quân Giải phóng miền Nam Việt Nam được thành lập. Tháng 5 năm đó, Bộ Tổng Tham mưu Quân đội nhân dân Việt Nam ra quyết định thành lập Quân khu Sài Gòn – Gia Định, trực thuộc Bộ Tư lệnh Quân Giải phóng miền Nam (còn gọi là Ban Quân sự Miền, sau là Bộ Tư lệnh Miền). Nhiệm vụ của Quân khu Sài Gòn – Gia Định là trinh sát, thu thập thông tin tình báo quân sự, phá hoại các cơ sở quân sự, khủng bố những người cộng tác với chính quyền Việt Nam Cộng hòa, đồng thời xây dựng hệ thống tuyển quân tại chỗ, tổ chức lực lượng bảo vệ căn cứ ở vùng ven đô. Một số đơn vị trực thuộc nổi tiếng là lực lượng Biệt động Sài Gòn, Đoàn 10 Rừng Sát và C13 Tiểu đoàn Quyết Thắng.

Để chuẩn bị cho chiến dịch Mậu Thân tại khu vực Sài Gòn - Gia Định, tháng 10 năm 1967, Trung ương Cục miền Nam quyết định giải thể Quân khu Sài Gòn - Gia Định, tổ chức lại thành các tổ biệt động chiến đấu, tham gia tác chiến tại nhiều mục tiêu quan trọng tại nội ô như Dinh Tổng thống, Tòa Đại sứ Hoa Kỳ tại Sài Gòn, trụ sở Bộ Tổng tham mưu Quân lực Việt Nam Cộng hòa, Sân bay Tân Sơn Nhứt... Tuy có tạo được bất ngờ, thậm chí tạm thời chiếm được một số mục tiêu, nhưng do quân số ít và trang bị kém, lực lượng này bị thiệt hại nặng nề, các cơ sở bị phá vỡ hầu hết.

Đến tháng 4 năm 1972, Bộ Tư lệnh Miền quyết định khôi phục lại Quân khu Sài Gòn – Gia Định, làm nhiệm vụ ở nội ô và vùng ven Sài Gòn. Chính lực lượng của Quân khu Sài Gòn – Gia Định đã góp phần khá lớn trong việc bảo vệ cửa ngõ Sài Gòn cũng như dẫn đường cho các mũi xung kích chính quy của Quân đội nhân dân Việt Nam tiến vào Sài Gòn.

Ngày 2 tháng 6 năm 1975, Bộ Tư lệnh thành phố Sài Gòn – Gia Định được thành lập trên cơ sở Quân khu Sài Gòn – Gia Định, trực thuộc Bộ Tư lệnh Miền. Tháng 7 năm 1976, Bộ Tư lệnh thành phố Sài Gòn – Gia Định đổi tên thành Bộ Tư lệnh Thành phố Hồ Chí Minh, trực thuộc Bộ Quốc phòng. Ngày 5 tháng 5 năm 1978, Bộ Tư lệnh Thành phố Hồ Chí Minh được đổi tên thành Bộ Chỉ huy Quân sự Thành phố Hồ Chí Minh, trực thuộc Quân khu 7.[1]

Ngày 14 tháng 1 năm 2011, Bộ Quốc phòng quyết định đổi tên Bộ Chỉ huy quân sự Thành phố Hồ Chí Minh thành Bộ Tư lệnh Thành phố Hồ Chí Minh trực thuộc Quân khu 7.[2]